Одна из самых популярных статей на VM Guru - это статья про типы дисков виртуальных машин на платформе VMware vSphere. Там рассказано про все имеющиеся виды виртуальных дисков, среди которых можно выделить три основных:

• Lazy zeroed thick disks - все пространство диска выделяется в момент создания, при этом блоки не очищаются от данных, которые находились там ранее. Но при первом обращении ВМ к этому блоку он обнуляется.
• Eager zeroed thick disks - все пространство такого диска выделяется в момент создания, при этом блоки очищаются от данных, которые находились там ранее. Далее происходит обычная работа с блоками без очистки.
• Thin disks ("тонкие диски") - эти диски создаются минимального размера и растут по мере их наполнения данными до выделенного объема. При выделении нового блока - он предварительно очищается. Эти диски экономят пространство на массиве, так как не забивают его нулями и не требуют аллокации заданного объема.

Между администраторами VMware vSphere очень часто возникает дискуссия: диски какого типа нужно создавать, особенно если дело касается высоких нагрузок ВМ на дисковую подсистему? Сейчас это становится актуальным и для флэш-массивов, которые начинают появляться в организациях различного масштаба и предназначены как раз для высоких нагрузок ВМ на диски.

Специально для таких пользователей компания VMware провела тесты для последовательных и случайных операций при работе с виртуальными дисками различного типа, используя для этого дисковые массивы с SSD-накопителями.

Результаты оказались интересны - диски типа Thin и Lazy zeroed серьезно уступают в производительности дискам Eager zeroed, когда дело касается нагрузок случайного типа.

Использованная тестовая конфигурация:

• Сервер Dell R910 с 40 ядрами и 256 ГБ оперативной памяти.
• Дисковый массив Pure FA-420 FlashArray с двумя полками, на которых 44 флэш-диска по 238 ГБ каждый (суммарно 8.2 ТБ полезной емкости).
• Виртуальная машина Windows 2008 R2 Virtual Machine следующей конфигурации: 4 vCPU, 8 GB RAM, 40 GB OS/Boot Disk, 500 GB Data Disk.
• Инициатор SW iSCSI для карточки 10 Gb.

Таблица результатов тестов, сделанных с помощью IOMETER для различных размеров блоков:

Из таблицы видно, что все диски на последовательных нагрузках показывают примерно одинаковый результат, а вот на Random-нагрузках уже совершенно другая картина. Все это более наглядно можно увидеть графиков, где диски Thin и Lazy zeroed существенно проседают по производительности:

Вывод - не все йогурты одинаково полезны. Для высокопроизводительных нагрузок желательно использовать диски типа Eager zeroed - хуже точно не будет. Единственный их минус - требуется существенное время на их создание, поскольку происходит обнуление блоков. Но если ваш дисковый массив поддерживает примитивы VAAI, то много времени не понадобится: например, в том же тесте диск Eager zeroed размером 500 ГБ создался менее чем за одну минуту.

Мы достаточно часто пишем о средстве для создания отказоустойчивых кластеров VMware Virtual SAN (статьи можно найти по тэгу VSAN). Не так давно мы писали про документ, который позволяет правильно выбрать серверное оборудование для создания кластеров VSAN, а в этой заметке на основе информации от Дункана Эппинга, мы расскажем о выборе дисков для Virtual SAN.

Как известно, на одном хосте VMware ESXi, являющимся узлом VSAN, может быть до пяти дисковых групп (Disk Groups), каждая из которых содержит один SSD-диск и от 1 до 7 HDD-дисков:

Возникает резонный вопрос, что лучше - иметь одну дисковую группу большой емкости или несколько дисковых групп емкостью поменьше. Например, у вас такие требования к кластеру VSAN:

• Всего нужно емкости : 20 ТБ
• Всего емкости флэш-накопителей (10% по best practices): 2 ТБ
• Всего хостов ESXi: 5

В этом случае на каждом хосте можно использовать одну из двух альтернативных конфигураций:

• 2 x 2 ТБ SAS-диска и 1 x 400 ГБ флэш-диск (одна дисковая группа)
• 4 x 1 ТБ SAS-диска и 2 x 200 ГБ флэш-диска (две дисковых группы)

Тут получается три аспекта, на которые влияет выбор конфигурации:

1. SSD-диск+HDD-диски дисковой группы являются единой точкой отказа (fault domain), так как отказ единственного SSD-накопителя приведет к отказу дисковой группы в целом. В случае отказа флэш-накопителя данные вы, конечно, не потеряете, но понадобится некоторое время, чтобы восстановить избыточную конфигурацию. Так что чем больше групп, тем лучше.
2. С точки зрения производительности - также лучше иметь две дисковых группы. Как вы знаете SSD-диск используется для кэширования данных, а один диск большей емкости, хоть и выжимает больше IOPS, но не намного. То есть, в первом случае, например, вы будете получать на кэше 36 000 IOPS, а во втором 2 x 32 000 IOPS. Аналогично, больше иопсов будут выжимать и HDD-диски. Очевидно, второй случай с точки зрения производительности - выгоднее.
3. Затраты - здесь надо балансировать между оптимальной емкостью SSD-накопителей и HDD-дисков. Диски большой емкости, начиная с какой-то точки, стоят намного дороже. Тут второй вариант тоже в плюсе.

Итого - несколько дисковых групп на хосте небольшой емкости лучше одной гигантской дисковой группы.

Восемь месяцев спустя с момента выпуска VMware Workstation 10 и VMware Fusion 6, компания VMware выпустила технологическое превью обновленных VMware Workstation 11 и VMware Fusion 7.

Майское превью - первое в череде версий 2014 года, финальные же версии данных платформ виртуализации ожидаются через несколько месяцев.

На данный момент VMware Workstation 11 TP имеет следующие новые возможности:

• New OS Support - Теперь появилась поддержка не только Windows 8 / 8.1, но и Windows 8.1 Update 1 в качестве хостовой и гостевой ОС. Кроме того, поддерживаются также последние версии десктопных платформ Ubuntu, Fedora, RHEL, OpenSUSE и других Linux-дистрибутивов. К моменту релиза список будет уточнен.
• VMware Hardware Version 11 - очередное обновление поколения виртуального программного обеспечения. Теперь возможностей у устройств виртуальной машины станет значительно больше. Например, можно создавать виртуальные машины с числом виртуальных процессоров (vCPU) до 16, кроме того улучшилась поддержка устройств USB 3.0, и появилась возможность выделять графическую память на уровне отдельной гостевой ОС.
• CPU enablement - кроме поддержки 16 vCPU, появилась полная поддержка новых поколений процессоров микроархитектур Intel Haswell и AMD Jaguar. Также поддерживаются на уровне совместимости процессоры Intel Broadwell и AMD Steamroller.
• Virtual xHCI controller - виртуальный контроллер xHCI появился еще в версии virtual hardware 8, но в этой версии он соответствует спецификации Intel xHCI 1.0. Также тут ожидается лучшая производительность устройств USB 3.0.
• Dedicated graphics memory for guest operating system - теперь полностью доступно управление выделением графической памяти под гостевые ОС. Это дает пользователю больший контроль и гибкость в конфигурации виртуальной машины. Настройка эта регулируется в Virtual Machine Settings -> Hardware -> Display. Не рекомендуют выделять гостевой ОС слишком много (будут глюки) и слишком мало видеопамяти (будут тормоза).
• Windows 8 Unity mode improvements - был существенно улучшен процесс работы с механизмом Unity, особенно для ВМ под управлением Windows 8 / 8.1. Кроме того улучшилась работа с экраном "Пуск" - когда происходит переключение между гостевой и хостовой ОС.
• Boot virtual machine with EFI - эта версия Workstation позволяет создавать и запускать виртуальную машину на базе EFI как альтернативе BIOS. Для этого нужно выставить следующую настройку - Virtual Machine Settings -> Options -> Advanced, далее отметить "Boot with EFI instead of BIOS".

В платформе VMware Fusion 7 TP появились следующие нововведения и улучшения:

• Новое поколение виртуального программного обеспечения - Hardware Version 11. (VM > Settings > Compatibility). Описание см. выше.
• Новые иконки в библиотеке, которые показывают состояние виртуальной машины в представлении списком.
• Поддержка настройки видеопамяти для гостевой ОС (VM > Settings > Display). Описание см. выше.
• Настройка использования встроенной видеокарты для Mac Book Pro с более, чем одним графическим модулем (GPU).
• Обновленная поддержка конфигураций с несколькими мониторами, один из которых Retina.
• Возможность настраивать горячие клавиши отдельно для каждой ВМ (VM > Settings > Keyboard & Mouse).
• Улучшенная поддержка предрелизных версий Microsoft Windows.
• Новый упрощенный способ установки VMware Tools под Windows 8 с использованием виртуального устройства USB CD virtual device.

Скачать VMware Workstation 11 можно по этой ссылке (документация - тут), а VMware Fusion 7 - по этой (документация - тут).

Как вы знаете, совсем недавно была выпущена новая версия продукта StarWind Virtual SAN, предназначенного для создания отказоустойчивых хранилищ на базе iSCSI для виртуальных машин VMware vSphere и Microsoft Hyper-V. О новых возможностях этого продукта мы уже рассказывали тут, кроме того, скоро мы расскажем о нововведениях более детально.

В этом же посте мы приглашаем вас на вебинары StarWind, посвященные обновленной версии StarWind Virtual SAN V8. На вебинаре будет присутствовать Макс Коломейцев, а значит сможет ответить на вопросы на русском языке:

Webinar: New Approaches in Hardware-less SAN Storage for Remote & Branch Offices

Вебинар пройдет 3 июня, в 22-00 по московскому времени. Вместо того, чтобы выпить пива, приходим на вебинар посвященный построению инфраструктуры хранения в небольших компаниях и филиалах, где нужно экономить средства на покупку оборудования и лицензий. С продуктом StarWind это делается очень просто.

Регистрация на вебинар

--------------------------------------------------------------------

Live Webinar: Show Me The Storage!

Вебинар пройдет 5 июня, также в 22-00 по московскому времени. Этот вебинар будет как бы продолжением предыдущего, но здесь будут уже затронуты технические аспекты технологии StarWind, позволяющей создать надежную инфраструктуру хранения. Будет рассказано о технологиях репликации по LAN и WAN, а также расскажут о том, почему StarWind является лидирующей на сегодняшний день технологией на рынке iSCSI-хранилищ.

Регистрация на вебинар

Приходите, будет интересно!

В этом посте мы хотим вам рассказать о том, что мы продолжаем сотрудничество (уже ставшее многолетним) с компанией Softline и приглашаем вас на бесплатное мероприятие «Программа аренды лицензий VMware. Как заработать на продаже своего облака», которое пройдет 28 мая в гостинице Holiday Inn на Московских воротах. Мероприятие проводится совместно с компанией VMware.

Приходите все, кто интересуется облаками VMware и программой по предоставлению виртуальных машин в аренду - VMware VSPP.

Дана и место мероприятия: 28 мая 2014 года в 16.00, г. Санкт-Петербург, гостиница Холидей Инн Московские ворота.

Принцип программы состоит в том, что партнеры VSPP получают возможность использовать ПО VMware для оказания услуг конечным пользователям. Став партнером по этой программе, Ваша компания получает уникальную возможность оказывать услуги по модели IaaS и DaaS без каких-либо первоначальных капиталовложений.

Мероприятие будет вам особенно интересно, если вы являетесь сервис-провайдером любого направления, и хотите расширить Ваш бизнес путем предоставления заказчикам облачных сервисов на базе услуг VMware – лидера на рынке виртуализации.

Программа мероприятия:

РЕГИСТРАЦИЯ

Мы уже затрагивали тему новой версии продукта Veeam Backup and Replication v8, предназначенного для резервного копирования и репликации виртуальных машин на платформах VMware vSphere и Microsoft Hyper-V. Напомним, что в восьмой версии продукта будет поддержка работы с массивами NetApp, а также было анонсировано средство для восстановления объектов каталога - Veeam Explorer for Active Directory.

На днях же компания Veeam официально объявила о скором выпуске Backup and Replication v8 и пакета продуктов Veeam Availability Suite. Этому на сайте Veeam посвящена отдельная страница: http://go.veeam.com/availability-suite-v8.

Традиционно Veeam Availability Suite v8 будет представлять собой набор продуктов Veeam Backup & Replication v8 плюс решение для мониторинга и управления изменениями Veeam ONE.

Перечислим основные новые функции пакета:

• Новые средства для восстановления объектов Veeam Explorer for Exchange, SharePoint, SQL (впервые появится в v8), AD (подробнее - тут).
• Новый продукт Veeam Explorer for Storage Snapshots (HP и NetApp), позволяющий делать резервные копии из снапшотов хранилищ и быстро восстанавливать ВМ из этих копий.
• Поддержка EMC Data Domain Boost - появится возможность интеграции с этим механизмом EMC, что сократит окна резервного копирования за счет ускорения создания синтетических полных бэкапов до 10 раз.
• Новая технология End-to-End Encryption - теперь передаваемые данные при резервном копировании шифруются (AES 256), и даже если вы потеряете пароль, то все равно сможете восстановить виртуальные машин их резервных копий.
• Улучшения репликации - теперь репликация по WAN работает быстрее, появится возможность репликации из бэкапа (для очень удаленных площадок) и появится возможность переключения на резервную площадку в один клик.
• Это еще не все, ожидайте позднее полный список возможностей.

Больше деталей можно узнать в пресс-релизе Veeam. Выход новой версии Veeam Backup & Replication v8 и Veeam Availability Suite v8 ожидается в конце августа-начале сентября этого года. Предполагаемые цены в США - $1 100 за Standard Edition, $1 550 за издание Enterprise и $2 300 за Enterprise Plus Edition.

Напомним, что обо всем этом и многом другом компания Veeam расскажет на первой своей собственной конференции VeeamON, которая продет c 5 по 9 октября в Лас-Вегасе.

P.S. Я все еще жду от вас бесплатный билет, коллеги!)

Не так давно мы писали о доступности бета-версии средства VMware Log Insight 2.0, предназначенного для автоматизированного управления файлами журналов, а также сбора различных данных, их анализа и поиска. Вчера компания VMware анонсировала релизную версию VMware Log Insight 2.0.

Приведем здесь полный список новых возможностей решения Log Insight 2.0:

1. Улучшения производительности масштабируемости:

• VMware заявляет, что Log Insight работает в 6 раз быстрее конкурента - продукта Splunk.
• До 8 раз увеличена скорость сбора данных и до 6 раз - скорость выполнения запросов.
• До 2 ТБ анализируемых данных на узел.
• До 30% улучшения производительности отдельных узлов.
• Возможность масштабирования до 6 узлов при анализе данных.

2. Высокая доступность:

• Улучшения скорости обмена до 5-10 раз при работе в режиме Cluster mode.
• Нет единой точки отказа - при запросах можно использовать внешний балансировщик, перенаправляющий запросы к узлам. Появилась интеграция с решением vCenter Operations Management Suite.
• Единый интерфейс для работы со всеми данными узлов.

3. Проактивная аналитика:

• Обучаемая система типов событий и распознавания схем данных с интеллектуальной группировкой (близкие сообщения хранятся рядом).
• "Умные поля" в отчетах (распознается тип данных в поле).
• Сбор данных с таких продуктов VMware, как NSX, vCloud Automation Center, Horizon View.

4. Улучшенные дэшборды и графический интерфейс:

• Интерфейс на основе HTML 5.
• Простое добавление фильтров на лету.
• Возможность взаимодействия между разными виджетами одного дэшборда.
• Теперь работа с диаграммами стала намного удобнее (новые виды диаграмм, можно прятать колонки, можно добавлять чарты на дэшборд).

5. Поддержка RESTful API при работе с логами.

6. Улучшенные механизмы мониторинга собственного состояния.

7. Агент для сбора логов Windows:

• Перенаправляет Windows event logs.
• Мониторит изменения файлов журнала.
• Функции централизованной отчетности и управления логами.
• Потребляет мало ресурсов (до 5% CPU и 100-200 МБ оперативной памяти).
• Поддерживает автоматическую ротацию логов.

Кроме того, в скором времени будут доступны дополнительные контент-паки для следующих продуктов:

• Brocade SAN Content Pack – мониторит события с FC-коммутаторов Brocade, генерирует алерты
• Microsoft Active Directory Content Pack
• Microsoft Exchange Content Pack
• Microsoft Windows Content Pack

Дефолтный контент-пак для VMware vSphere содержит следующие представления:

• General – Overview
• General – Inventory
• General – Security
• vCenter – Alarms
• vCenter – Tasks
• ESXi
• DRS
• HA
• Networking
• Storage – Overview
• Storage – SCSI latency/errors
• Storage SCSI Sense Codes
• Storage – NFS
• Virtual Machine

Теперь лицензирование VMware Log Insight построено не на базе объема обрабатываемых данных, а на базе анализируемых систем (стоит это $200 за систему). Можно также купить лицензию на 1 физический процессор (CPU) сервера Log Insight.

Сам продукт VMware Log Insight 2.0 будет доступен для загрузки во втором квартале этого года. Более подробно о продукте можно узнать тут, а контент-паки можно загрузить отсюда.

Компания ИТ-ГРАД, наш замечательный спонсор, запустила новую облачную площадку корпоративного уровня на базе одного из крупнейших московских дата-центров DataSpace. Теперь клиенты ИТ-ГРАД могут быть уверенны в надежности инфраструктуры, размещенной в публичном облаке.

DataSpace является крупным российским дата-центром, первым прошедшим сертификацию Tier III Facility от Uptime Institute в России. Новая облачная площадка позволяет увеличить область возможных применений инфраструктуры облака ИТ-ГРАД. Данное нововведение позволяет клиентам переносить в облако самые важные нагрузки и части своей ИТ-инфраструктуры, получая, таким образом, географически распределенное решение.

Кроме того, предоставлена возможность «живой» миграции виртуальной инфраструктуры между тремя используемыми площадками (Москва, Санкт-Петербург и Хельсинки), а также возможность создания консистентных удаленных резервных копий, либо реализации географически распределенной единой инфраструктуры, благодаря применению систем хранения данных NetApp High End класса и технологий виртуализации VMware.

Наличие сертификата отказоустойчивости уровня Tier III Facility выделяет компанию DataSpace среди других дата-центов, предлагающих услуги на территории России. Теперь размещенная в нашем публичном облаке инфраструктура обладает высокой степенью надежности. Возможность параллельного обслуживания инженерных подсистем гарантирует 99,98% доступности за счет уровня отказоустойчивости Tier III и не требует плановых отключений дата-центра.

«Мы регулярно проводим мониторинг в поисках лучших условий для нас и наших заказчиков, - комментирует заместитель генерального директора ИТ-ГРАД Александр Стародубцев. – Благодаря отсутствию жесткой привязанности к какому-либо одному дата-центру, мы выбираем для размещения наших клиентов самые надежные и качественные площадки».

«Будущее за облачными вычислениями, и они начинают набирать обороты на российском рынке. Природа этих технологий такова, что риски, связанные с физической средой, весьма сконцентрированы, что, безусловно, оправдывает размещение оборудования в отказоустойчивом центре обработки данных уровня Tier III», - комментирует президент DataSpace Дэвид Хэмнер.

О компании DataSpace

Российская компания DataSpace является одним из крупнейших операторов коммерческих центров обработки данных на столичном рынке. Первый дата-центр «DataSpace1» площадью 3000 м2 (12 машинных залов на 1100 стоек) введен в коммерческую эксплуатацию и является самым надежным и безопасным коммерческим дата-центром в Москве. Площадка расположена в центре Москве, в 15 минутах от Кремля.

В 2011 г. дата-центр “DataSpace1” успешно прошёл аудит специалистов из Uptime Institute и получил сертификат по уровню отказоустойчивости Tier III Facility. DataSpace предлагает свободный выбор поставщиков телекоммуникационных и IT-услуг, благодаря гибкому подходу и партнерским отношениям со всеми крупными операторами. Приоритетом DataSpace является комплексная эксплуатация центрами обработки данных и высокий уровень службы клиентской поддержки. Клиентами DataSpace являются крупные российские и международные финансовые и телекоммуникационные компании.

Тем из вас, кто развернул средство для создания отказоустойчивых кластеров VMware Virtual SAN, может потребоваться мониторинг состояния кластера в разрезе использования различных вычислительных ресурсов на хостах ESXi, а также виртуальными машинами.

Для этого есть специальная утилита с графическим интерфейсом VSAN Observer, которая позволяет через веб-интерфейс наблюдать за кластером VSAN. По умолчанию на сервере VMware vCenter она отключена.

Чтобы включить ее, делаем следующее:

1. Если вы используете VMware vCenter Virtual Appliance, то нужно запустить Ruby-консоль следующей командой:

rvc username@localhost

Здесь вводим логин и пароль администратора vCenter.

Если вы используете vCenter Server для Windows, то эту консоль можно запустить следующим bat-файлом (логин-пароль аналогичны предыдущему пункту):

%PROGRAMFILES%\VMware\Infrastructure\VirtualCenter Server\support\rvc\rvc.bat

2. Используем команды cd и ls, чтобы перейти в рабочий каталог VSAN:

cd localhost

cd VSAN

3. Запускаем веб-сервер VSAN Observer командой:

vsan.observer ~/computers/VSAN --run-webserver --force

4. После этого запускаем консоль VSAN Observer, перейдя по ссылке:

http://<vCenter Server>:8010

На первой вкладке мы видим дэшборд с различными характеристиками хост-серверов VMware ESXi, входящих в состав кластера Virtual SAN:

На вкладке VSAN Disks (per-host) мы видим уже графики на уровне отдельных физических дисков хостов:

На вкладке VSAN Disks (deep-dive) мы смотрим детальные параметры дисков на уровне отдельного хоста ESXi, включая кэширующий SSD-диск и HDD-диски с данными.

Каждый график можно развернуть отдельно, просто нажав на него:

На вкладке PCPU можно отслеживать параметры загрузки процессоров хост-серверов, обслуживающих кластер VSAN:

То же самое, но касательно памяти:

На вкладке Distribution можно смотреть информацию относительно баланса кластера - равномерно ли загружены его ресурсы:

Вкладка DOM Owner похожа на первую вкладку - говорят она для техподдержки VMware:

А вот вкладка VMs - полезная штука. Тут можно смотреть за производительностью на уровне отдельных виртуальных дисков конкретных ВМ, использующих ресурсы хранения кластера VSAN.

Также тут можно узнать, на каких хостах находятся реплики виртуальных дисков VMDK конкретной ВМ:

Ну а если вы хотите использовать VSAN Observer на сервере VMware vCenter под Windows, то команда ниже позволит вам добавить соответствующее правило в его сетевой экран:

netsh advfirewall firewall add rule name = "VMware RVC VSAN Observer" dir = in protocol = tcp action = allow localport = 8010 remoteip = localsubnet profile = DOMAIN

Некоторое время назад мы писали о том, как запускать вложенный гипервизор и виртуальные машины (nested VMs) на платформе VMware vSphere. В статье по ссылке показано, что можно запустить как вложенную платформу VMware ESXi, так и вложенный сервер с ролью Hyper-V, при этом можно запускать виртуальные машины в этих ВМ.

А как обстоят дела с вложением Hyper-V в Hyper-V? При попытке поставить роль Hyper-V в виртуальной машине Windows Server 2012 R2 вы получите вот такие сообщения об ошибках:

Hyper-V cannot be installed: A hypervisor is already running.

Если попробуем включить роль через PowerShell получим аналогичную ошибку:

Но саму роль Hyper-V в виртуальной машине на Windows Server включить можно. Делается это средствами утилиты по обслуживанию образов DISM.exe. Если вы используете Windows 8 как гипервизор, то потребуется скачать еще и пакет Windows Assessment and Deployment Kit (ADK) for Windows 8.

Выполняем следующие команды в консоли:

DISM /Online /Enable-Feature /FeatureName: Microsoft-Hyper-V
DISM /Online /Enable-Feature /FeatureName: Microsoft-Hyper-V-Management-Clients

Далее роль встанет, и можно запустить консоль управления виртуальными машинами.

Но при попытке запустить виртуальную машину будет выведена ошибка:

VM failed to start. Failed to start the virtual machine because one of the Hyper-V components is not running.

Для этой проблемы пока решения нет. Виртуальную машину вы не сможете запустить на Hyper-V никак. Хотя на VMware vSphere 5.x все будет прекрасно работать.

Здесь же вы только сможете сделать такие вложенные ВМ узлами Failover Cluster для целей тестирования или снятия скриншотов:

Все это происходит из-за того, что Microsoft не хочет предоставлять виртуальным машинам средства эмуляции техник аппаратной виртуализации Intel VT и AMD-V, хотя многие пользователи и спрашивают об этом. По мнению сотрудников Microsoft, которых можно встретить на форумах technet, "это не нужно".

От администратов VMware vSphere часто приходится слышать о том, что есть категория пользователей, которой хотелось бы предоставить доступ к отдельным задачам по работе с виртуальной инфраструктурой, при этом не давая доступ к средствам управления VMware vSphere Client или Web Client. Например, это может оказаться необходимо сетевым администраторам или администраторам хранилищ. Особенно эта задача актуальна тогда, когда реализация необходимой функции состоит из нескольких шагов, некоторые из которых нельзя сделать в графическом интерфейсе vSphere Client.

В этом случае проблема решается средствами интерфейса PowerCLI / PowerShell, а вот недавно обновившаяся утилита с VMware Labs - Web Commander 3.0 - позволяет опубликовать командлеты PowerShell через веб-интерфейс, доступ к которому можно предоставить пользователям.

Что нового появилось именно в третьей версии:

• Новый интерфейс
• Улучшенные контролы
• Улучшенный рабочий процесс
• Новые команды для сервера

Системные требования для установки Web Commander:

• ОС Windows 2008 или 2012
• Установленный Powershell версий 3/4, а также фреймворк vSphere PowerCLI
• Сервер приложений IIS 8
• Установленный PHP 5

Скачать Web Commander можно по этой ссылке, документация по установке доступна здесь.

Интересная новость пришла с конференции EMC World 2014, которая проходила с 5 по 8 мая в Лас-Вегасе. Теперь при построении распределенного ("растянутого") кластера VMware HA/DRS (он называется vSphere Metro Storage Cluster, vMSC) поддерживается задержка RTT (Round Trip Time) в канале до 10 миллисекунд. Для такого варианта использования сертифицировано решение VPLEX Geosynchrony 5.2, начиная с версии VMware vSphere 5.5.

Надо сказать, что технология EMC VPLEX Metro ранее поддерживалась на расстояниях между ЦОД в диапазоне до 100-150 км (иногда несколько более), где возникают задержки (latency) до 5 мс (это связано с тем, что RTT-время пакета в канале нужно умножить на два для FC-кадра, именно два пакета необходимо, чтобы донести операцию записи). Но и 150 км - это вовсе немало. Теперь же это расстояние увеличилось до 300 километров.

Ранее технология vMotion поддерживалась и для latency до 10 мс, а вот механизм отказоустойчивости VMware HA гарантированно работал только для задержек до 5 мс.

При этом сейчас кластер vMSC сертифицирован как для нативного плагина доступа к хранилищам NMP (Native Multi-pathing), так и для плагина PowerPath/VE. Здесь надо обязательно отметить, что данная конфигурация поддерживается только издания VMware vSphere Enterprise Plus.

Более подробная информация о кластерах vMSC приведена в KB 2007545.

Долгожданная новость от компании StarWind: вышла восьмая версия продукта для создания отказоустойчивых кластеров хранилищ - StarWindV8! Решение теперь называется StarWind Virtual SAN, и, как и раньше, оно доступно для двух платформ - VMware и Hyper-V. Cкоро мы напишем о новой версии этого продукта весьма детально.

Тем же из вас, кто находится сейчас на глобальной конференции Microsoft TechEd 2014, проходящей в Хьюстоне, мы настоятельно рекомендуем заглянуть на стенд компании StarWind Software (номер #746) по двум причинам:

• Вам покажут живое демо продукта StarWind V8, который уже вышел и доступен для загрузки.
• Расскажут о том, как наполовину снизить издержки на содержание инфраструктуры небольшой организации или филиала при удвоении эффективности.

Некоторые из вас, возможно, в курсе, что в ОС Windows Server есть режим публикации приложений RemoteApp, который позволяет запускать их в терминальном режиме на сервере, а окна отображать на клиентских ПК. То есть это виртуализация уровня представления или так называемая публикация приложений, которая испокон веков есть в Citrix XenApp (и скоро улучшится в CWS) и скоро будет в VMware Horizon.

Так вот, на конференции TechEd 2014 компания Microsoft объявила о выпуске превью-версии облачного решения Azure RemoteApp под кодовым названием Mohoro, которое уже сегодня доступно по адресу: http://remoteapp.azure.com (для начала работы нужна действующая подписка на Azure).

В качестве бэкэнда решения используются виртуальные машины в IaaS-облаке Azure. Работа с приложениями происходит по протоколам RDP и RemoteFX.

Особенности Azure RemoteApp:

• User experience аналогичный таковому в Windows Server 2012 R2 (только такие образы пока можно использовать).
• Поддержка клиентов не только в Windows-машинах, но и на устройствах iOS/Android (пока не реализовано).
• Постоянное хранилище для пользователей - Azure RemoteApp предоставляет каждому пользователю 50 ГБ дискового пространства на базе Azure Storage. При этом допускается до 20 пользователей на одну машину.
• В образах Windows Server 2012 R2, на которых развертываются приложения, уже установлен офисный пакет Microsoft Office 2013 ProPlus.
• Возможность масштабирования фермы серверов по мере возрастания нагрузки и числа пользователей.
• Доступность по всему миру - Azure RemoteApp будет доступен в регионах: US West, US East, Western Europe, North Europe, East Asia, and Southeast Asia.
• Два режима развертывания Cloud-only и Hybrid. В первом случае все ресурсы и средства управления будут размещены в облаке Azure и будут централизованно обновляться, во втором же - на стороне Azure будет только консоль управления и механизм управления доступом. Во втором случае доступно больше возможностей в плане настройки инфраструктуры - можно использовать кастомные образы, свою политику обновлений, возможна федерация приложений из различных онпремизных источников и т.п.

Суммарная информация по возможностям Azure RemoteApp приведена в таблице ниже:

Финальная версия Azure RemoteApp ожидается в конце 2014 года. Пока же превью доступно бесплатно для всех клиентов облака Azure.

Как мы писали в прошлом посте, с 6 по 8 мая проходила главная конференция компании Citrix - Synergy 2014, где было сделано несколько интересных анонсов. Основной из них - выпуск технического превью Citrix Workspace Services (CWS), которое представляет собой законченное решение для развертывания пользовательских рабочих сред на различных устройствах (в том числе мобильных), а также средства совместной работы и решения по управлению мобильными устройствами.

Очевидно, Citrix превентивно пытается выйти вперед в конкуренции с еще не вышедшим, но уже анонсированным VMware пакетом Horizon 6, который будет дополнен решениями по управлению мобильными устройствами AirWatch, приобретенных VMware в начале этого года.

Как раз по этому поводу и было объявлено о том, что пользователи VMware View получат 50% скидку на решение Citrix Workspace Services, когда захотят сменить платформу для управления виртуальными и физическими ПК и приложениями.

Кроме того, Citrix заявляет о том, что CWS типа на голову выше Horizon 6:

В основном Citrix говорит о том, что у VMware отсутствуют средства по управлению мобильными приложениями, а также средства защищенного доступа к ним и оптимизации. То есть, по существу виртуальных ПК Citrix в сторону VMware сказать уже особо нечего.

Citrix Workspace Services обещает нам простоту установки решения и автоматическое масштабирование инфраструктуры для пользовательских окружений в любом частном облаке предприятия, в том числе за счет технологий ScaleXtreme, покупку которых Citrix также анонсировала на конференции. Также Citrix предоставит различные типовые гайды по созданию инфраструктур на базе CWS.

Оркестрация облака в решении Citrix CWS построена на базе облачной инфраструктуры Azure, где используются такие функции, как Azure App Services, Azure Active Directory и Azure Virtual Network. При этом сама инфраструктура компании может находиться в любом частном или некотором публичном облаке. Коносль CWS на стороне Azure используется для выбора необходимых ресурсов, их покупки, а также их развертывания.

Например, если вы хотите построить инфраструктуру на базе XenDesktop, то можно указать в качестве инфраструктуры некоторое количество серверов XenServer в вашем датацентре, а также несколько машин в облаке EC2 от Amazon. Для хранения образов виртуальных дисков машин можно использовать собственные ресурсы хранения, облачные ресурсы, либо вообще подключить стороннего провайдера, например, Dropbox. Ну то есть CWS - это такая штука, которая позволяет использовать различные платформы и источники данных, объединять все это вместе и управлять из единой консоли. Настоящая виртуализация облаков :)

Как было сказано, Citrix в решении CWS обещает поддержку оркестрации не только приватных, но и публичных облаков, таких как Microsoft Azure, Amazon Web Services, Cisco InterCloud, CloudPlatform и SoftLayer.

Для того, чтобы скачать техническое превью CWS, нужно зарегистрироваться по этой ссылке.

Кроме этого, в рамках второго и третьего дней компания Citrix показала следующие вещи:

1. Mac Receiver теперь имеет компоненты HDX, что позволяет обрабатывать видео и аудиопотоки локально, не задействуя серверные ресурсы. Это существенно повышает производительность.

2. Были представлены партнерские аппаратные решения, интегрированные с продуктами Citrix:

• Сервер Dell, который содержит в себе до 10 процессоров по 4 ядра в каждом, графические адаптеры, а также средства комплексного мониторинга. Решение будет доступно во втором квартале по цене от $250 за пользователя.

• Решение HP Moonshot, которое построено на базе новейшего процессора Intel E3 и современного GPU, поставляемое уже с Citrix XenDesktop.

Более подробно о семействе решений HP Moonshot можно узнать на этой странице.

3. Intel рассказала о решении Xeon E3.

Это высокопроизводительные процессоры под кодовым названием Xeon E3 Crystal Well впервые содержат в себе технологию Intel Iris Pro Graphics. Более подробно об этом можно почитать тут.

4. Также было более подробно рассказано о новых возможностях Citrix XenApp и XenDesktop:

Вкратце это все. На конференции было также еще несколько интересных выступлений, касающихся уже имеющихся продуктов Citrix и пользовательских кейсов, которые вы можете посмотреть тут.

В выпущенной еще в прошлом году версии платформы виртуализации VMware vSphere 5.5 компания VMware представила решение App HA, которое выросло из функций  VM Monitoring, средствами которых можно было обнаруживать недоступность отдельной ВМ и перезапускать ее в случае сбоя. Потом эти возможности решили применить и к отдельным приложениям, в результате чего и появилось решение App HA:

Теперь App HA поддерживает некоторое количество приложений, поведением по "лечению" которых можно управлять на базе политик.

В середине апреля было выпущено решение VMware App HA 1.1, в котором появилось несколько новых возможностей:

• Теперь из коробки поддерживается больше приложений: Oracle (10g и 11g), а также PostgreSQL (8.x и 9.x).
• Поддержка любого сервиса: теперь агенты Hyperic можно использовать для любого сервиса в гостевой ОС (старт/стоп сервиса).
• Улучшенная совместимость с разными версиями vSphere - поддерживается как vSphere 5.5, так и 5.1.
• Возможность гибкого редактирования политик App HA, в том числе тех, которые уже назначены различным сервисам.
• Добавлено 6 языков, русского, к сожалению, нет.

Таким образом, решение App HA поддерживает мониторинг следующих приложений в гостевых ОС виртуальных машин:

А вот табличка совместимости App HA с различными компонентами VMware vSphere:

Полезные ссылки:

• Скачать App HA
• Документация
• Release notes
• Руководство по установке
• Гайд по совместимости

На сайте проекта VMware Labs появилась очередная полезная вещь - теперь это средство Horizon View Event Notifier, предназначенное для отправки администраторам писем по протоколу SMTP с различными алертами, которые произошли в VMware View.

Утилита соединяется с одной или несколькими базами данных Horizon View Event Database, вытаскивает оттуда выбранные администратором события (ошибки, предупреждения, инфо) и шлет письма на указанный email-адрес. При этом поддерживается возможность работы с несколькими БД, что позволяет собирать алерты с разных инсталляций VMware View (так называемые View Pods).

В следующей версии разработчик обещает собирать алерты в дайджест и слать администратору уже сводную информацию о сработавших алертах, например, за последние 24 часа. Неплохо было бы также добавить фоновый режим работы и помещение иконки в трей.

Скачать утилиту Horizon View Event Notifier можно по этой ссылке. Она не требует установки, достаточно запустить экзешник, а также дать права чтения-записи на конфигурационный файл. Инструкции по использованию доступны тут.

Компания VMware выпустила полезный документ VMware Virtual SAN Hardware Design Guide, который позволяет получить информацию о том, как правильно выбрать аппаратное обеспечение для построения отказоустойчивого кластера хранилищ на базе локальных дисков серверов - VMware Virtual SAN.

Пример правильного узла для кластера VSAN:

Внутри документа вы найдете информацию о том, как выбрать:

• Форм-фактор серверов
• Загрузочные устройства
• Флэш-накопители
• HDD-диски
• Контроллеры хранилищ
• Сетевые адаптеры

Ну и, конечно же, не стоит забывать про ресурс VMware Hardware Compatibility Guide (HCL), где можно найти актуальный список аппаратного обеспечения, совместимого с различными продуктами и технологиями VMware.

Для тех, кто задумался о промышленном внедрении VMware VSAN, документ - мастрид.

Не так давно компания VMware объявила о скором выходе новой версии пакета продуктов для создания инфраструктуры виртуальных и физических десктопов предприятия - VMware Horizon 6. Помимо прочего, в Horizon 6 будет два существенных улучшения - режим vDGA будет работать заметно лучше при отображении графики в виртуальных ПК, а кроме того решение VMware View будет полностью интегрировано с продуктом Virtual SAN для создания кластеров хранилищ на базе локальных дисков хостов ESXi.

Об этом, собственно, компания VMware выпустила интересные видео, которые нужно посмотреть всем тем, кто всерьез задумался о внедрении решения для виртуализации настольных ПК в этом сезоне.

Итак, "VMware Horizon 6 3D Performance with vDGA" (в конце интересно понаблюдать за лысым мужиком):

Видео про интеграцию с VSAN - "VMware Horizon 6 Integration with VMware Virtual SAN" (ранее добавленное видео от VMware на эту тему больше недоступно):

Мы уже много писали о решении VMware для создания кластеров хранилищ - технологии Virtual SAN, которая позволяет построить отказоустойчивую архитектуру хранения на базе локальных дисков серверов VMware ESXi.

На днях компания VMware выпустила очень полезный, а глвное бесплатный, онлайн-курс VMware Virtual SAN Fundamentals [V5.5], посвященный базовым принципам работы продукта и его администрирования.

Курс состоит из четырех модулей:

Module 1: Introduction to Virtual SAN

• Software-Defined Storage
• The Benefits of Virtual SAN
• Advantages of Virtual SAN over Traditional Storage and VSA.’

Module 2: Software-Defined Data Center

• Use Cases
• Virtual Desktop Infrastructure (VDI)
• Test and development
• Disaster recovery
• Management cluster storage
• DMZ
• Remote office/branch office
• POC Pre-Qualification Checklist

Module 3: Virtual SAN Architecture

• Virtual SAN Architecture
• Virtual SAN Objects and Components
• Virtual SAN prerequisites
• Virtual SAN cluster sizing requirements

Module 4: Configuring Virtual SAN (Optional)

• Enable Virtual SAN on a cluster
• Create disk group
• Storage policies
• Expand Virtual SAN cluster

Компания VMware обновило свое бесплатное решение для миграции физических и виртуальных серверов на платформу VMware vSphere - VMware Converter Standalone 5.5.1. Напомним, что о новых возможностях Converter Standalone 5.5, вышедшего еще в октябре прошлого года, мы уже писали вот тут.

Новых возможностей Converter Standalone 5.5.1 всего две:

• Поддержка кластеров хранилищ VMware VSAN в качестве целевых хранилищ при миграции.
• Поддержка метода аутентификации DSA при конвертации машин с ОС Linux.

Кроме того, было несколько исправлений ошибок, среди которых, например, фикс бага, когда не поддерживалась конвертация Linux-систем, если целевой диск превышал 2 ТБ.

Скачать VMware vCenter Converter Standalone 5.5.1 можно по этой ссылке. Документация доступна тут.

Не так давно мы уже писали про приложение VMware vSphere Mobile Watchlist, которое позволяет мониторить виртуальную инфраструктуру с телефона на Android и iOS / iPhone, а также своевременно обнаруживать и решать проблемы удаленно. Недавно, 21 апреля, это приложение было обновлено - теперь новые версии (1.3) доступны для Android и iOS.

Новые возможности vSphere Mobile Watchlist:

• Добавлена поддержка хостов ESXi для мониторинга и решения проблем (раньше были только виртуальные машины).
• Улучшенное отображение связанных объектов (например, можно вывести все ВМ на хостах, хранящихся на определенном хранилище или в определенной ести), а также их алертов.
• Добавление хостов и виртуальных машин в список отслеживания напрямую из связанных объектов.
• Операции с набором хостов: включение/выключение, сетевые настройки и режим обслуживания (maintenance mode).
• Улучшенный интерфейс и система навигации по экранам.
• Несколько багофиксов.

Интересное обзорное видео продукта от Владана:

Пока возможности продукта слабоваты (например, нет vMotion и прочего), но сам факт того, что он развивается достаточно быстро (первая версия - в феврале), говорит о том, что скоро он будет вполне юзабелен.

Комьюнити по продукту доступно по этой ссылке. В качестве платформы поддерживается VMware vSphere 5 и более поздние версии.

На прошлой неделе компания VMware объявила о запуске нужного сервиса по восстановлению инфраструктуры Disaster Recovery для облачной инфраструктуры vCloud Hybrid Service (vCHS). Напомним, что совсем недавно сервисы vCHS подешевели и стали доступны в Европе.

Анонсированное DR-решение доступно как услуга (RaaS, Recovery-as-a-Servie) для конечных заказчиков, которые могут делать бэкап своего частного облака в инфраструктуру vCHS. При этом для заказа услуги (она доступна на 1,12,24 или 36 месяцев) не требуется быть клиентом vCHS и иметь там свою виртуальную инфраструктуру.

Это очень удобно для тех заказчиков, которые не хотят вкладывать сразу большие деньги в построение полноценной резервной площадки, а пока просто хотят протестировать сервисы катастрофоустойчивости VMware. Ведь в любой момент можно отказаться от использования vCHS, когда будут введены в эксплуатацию собственные резервные мощности.

Новые возможности Disaster Recovery в облаке vCloud Hybrid Service:

• Self-Service disaster recovery Protection - возможность защитить до 500 виртуальных машин с помощью технологии vSphere Replication самостоятельно, прямо из консоли vCenter Server.
• Custom Recovery Point Objectives - возможность настройки политик репликации, которые дают RPO от 15 минут до 24-х часов, в зависимости от характеристик канала связи, объема реплицируемых данных и прочих факторов.
• Industry-Standard Recovery Time Objectives - время восстановления сервиса после сбоя (RTO) гарантировано на уровне 4-х часов (или менее), что подразумевает полное включение резервных копий всех машин на стороне vCHS.
• Automated Failover Testing, Planned Migrations and Recovery - встроенные возможности (преднастроенные workflows), позволяющие проводить тестирование аварийного восстановления, live-восстановление продуктивной ВМ в среду vCHS, а также проводить запланированные миграции в облако VMware.
• Elastic Cloud Compute and Storage - возможность гибкого изменения требуемых под DR-инфраструктуру ресурсов, что позволяет, например, быстро построить среду под аварийное восстановление инфраструктуры на стороне vCHS в самое ближайшее время.
• Offline Data Seeding - возможность первичной передачи большого объема данных через офлайн-механизм vCloud Connector Offline Data Transfer.
• Private Leased Line Networks - использование выделенных провайдерских сетей (Direct Connect) для возможности аварийного восстановления.
• Flexible Failover Testing - возможность использования различных преконфигуренных сценариев аварийного восстановления.

Для использования сервисов DR в vCHS вам потребуется:

• VMware vSphere 5.1 или выше
• VMware vCenter 5.1 или выше
• Механизм VMware vSphere Replication 5.6
• Подписка VMware vCloud Hybrid Service – Disaster Recovery
• Развернутый виртуальный датацентр (DR-VDC) в инфраструктуре vCloud Hybrid Service
• Достаточное по скорости соединение через интернет с облаком vCHS

Сначала DR vCHS можно купить как Core Service базовой мощности:

А потом уже можно расширять его аддонами (минимальная гранулярность подписки - месяц, что удобно):

Более подробно о возможностях аварийного восстановления своей инфраструктуры в среду vCHS можно почитать в даташите или FAQ.

Представляем вам очередную статью компании ИТ-ГРАД на актуальную тему шифрования данных клиентов публичных облаков. В современном мире все больше компаний рассматривают процесс перехода в облако, и многих останавливает от выбора такого пути единственный вопрос – вопрос защищенности данных. Причем источником такого рода опасений являются...

Пару недель назад мы писали об уязвимости OpenSSL HeartBleed, которая коснулась виртуальной инфраструктуры VMware vSphere, а также других продуктов компании VMware. Напомним, что эта уязвимость позволяла злоумышленнику получить доступ к памяти сервера, где могут храниться логины/пароли и другая информация пользователей.

На прошлой неделе компания VMware выпустила фиксы для этого бага в виде обновлений VMware vSphere 5.5 Update 1a и VMware vSphere 5.5c, подробнее о которых написано в специальной статье KB 2076665.

Но тут, как часто бывает, вышла оказия. Нашелся еще один баг в VMware vSphere 5.5 Update 1 - оказывается, если для этого билда использовать NFS-хранилища, то они периодически отваливаются, то есть переходят в состояние APD (All paths down). Это касается и VSA-хранилищ. В логах при этом наблюдается что-то вроде такого:

2014-04-01T14:35:08.074Z: [APDCorrelator] 9413898746us: [vob.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:35:08.075Z: [APDCorrelator] 9414268686us: [esx.problem.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:36:55.274Z: No correlator for vob.vmfs.nfs.server.disconnect
2014-04-01T14:36:55.274Z: [vmfsCorrelator] 9521467867us: [esx.problem.vmfs.nfs.server.disconnect] 192.168.1.1/NFS-DS1 12345678-abcdefg0-0000-000000000000 NFS-DS1
2014-04-01T14:37:28.081Z: [APDCorrelator] 9553899639us: [vob.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
2014-04-01T14:37:28.081Z: [APDCorrelator] 9554275221us: [esx.problem.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.

Решения для этой проблемы пока нет, поэтому рекомендуется просто откатиться на VMware vSphere 5.5 (без Update 1), если вы используете NFS-хранилища или модуль VSA.

Так вот, поэтому vSphere 5.5 Update 1 и просто vSphere 5.5 надо обновлять разными патчами для устранения уязвимости OpenSSL HeartBleed (чтобы на 5.5 не накатилась проблема с APD):

VMware ESXi 5.5, Patch Release ESXi550-201404001
Это патч только для фикса хостов ESXi 5.5 Update 1

VMware ESXi 5.5, Patch Release ESXi550-201404020
А этот патч для фикса хостов разных версий 5.5 за исключением ESXi 5.5 Update 1, а именно:
ESXi 5.5.0 hosts
ESXi 5.5.0 hosts patched with ESXi550-201312101-SG bulletin
ESXi 5.5.0 hosts patched with ESXi550-201312401-BG bulletin
ESXi 5.5.0 hosts patched with ESXi550-201403101-SG bulletin
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131201001s-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131201001s-no-tools image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131204001-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131204001-no-tools image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20140301001s-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20140301001s-no-tools image profile

Для серверов vCenter есть также соответствующие патчи:

• VMware vCenter Server 5.5 U1a
• VCVA 5.5 U1a
• VMware vCenter Server 5.5c
• VCVA 5.5c

VMware рекомендует сначала обновить серверы vCenter, а потом уже обновлять хосты ESXi. Сама процедура обновления описана в KB 2076692.

После обновления, на хостах ESXi надо перегенерить сертификаты и сменить пароли root. Делается это так:

cd /etc/vmware/ssl
/sbin/generate-certificates
chmod +t rui.crt
chmod +t rui.key
passwd root

Ну и надо отметить, что для всех остальных продуктов VMware также вышли фиксы уязвимости OpenSSL HeartBleed. Информация о них доступна по этой ссылке: http://www.vmware.com/security/advisories/VMSA-2014-0004.html.